Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
混合离散-连续动作空间的策略优化：基于混合梯度
🧭 强化学习与混合动作空间优化
提出HPO算法，结合路径梯度与分数函数梯度实现混合动作空间的无偏策略优化
📌 工作参考价值（4 点）
- 可借鉴的混合梯度架构：推荐系统的选品（离散）与出价（连续）等混合动作场景，可将 HP O的混合梯度估计作为 baseline，用路径梯度直接优化连续部分，分数函数梯度处理离散部分，避免单独 score function 的高方差。
- 近似分散更新的工程实现：当离散策略接近最优时，交叉项可忽略，连续部分与离散部分可分散独立更新，降低方差并简化工程实现，适合电商多臂老虎机或分层决策体系。
- 利用可微分仿真：若业务中决策环境有可微模型（如用户响应曲线、供给端模型），可用 HP O的路径导数提升连续动作梯度质量，替代纯无梯度或 score function 方法。
- 库存管理、供应调度场景直接复用：电商库存补货、仓储调度等本质是混合动作空间（选择补货点、连续补货量），HP O可优于标准 PP O，提供更高效优化方案。